1% of Tokens Can Be Enough: On Gradient Estimation in On-Policy Distillation
1% 的 Token 已足够：在线策略蒸馏中的梯度估计
🧭 LLM 稀疏在线蒸馏 token 选择
MBZUAI · Ant Group
提出信息效率比 IER，将有用性与梯度估计可靠性结合做稀疏在线蒸馏 token 选择，0.1%-1% 预算匹配全量 OPD
📌 工作参考价值（4 点）
- 做 LLM 在线蒸馏或生成式推荐模型压缩时，不必全量 token 蒸馏；用 IER 结合 usefulness 做稀疏 token 监督，0.1%–1% 预算可接近/超过 full OPD，大幅降低 teacher 调用与训练成本。
- 不要只用 loss 或 uncertainty 选 token；高 useful 的 token 可能梯度估计噪声大，实际更新不稳。可借鉴 IER 的 signal-to-noise 思路，对 token/样本做梯度可靠性二次筛选。
- 候选集近似是工程可落地的关键：不必对全 vocab 精确计算梯度方差，用较小候选集估计 IER，能直接嵌入现有 sampled reverse-KL 训练流程，适合工业级 RLHF/GRPO/蒸馏 pipeline。
- 若是 Agent/电商文案生成等多步 trajectory 蒸馏，可把 IER 扩展到 step/token 级预算分配，优先在梯度可靠且 teacher 有信息量的位置蒸馏，节省长轨迹的训练成本。